はじめてのデータ・サイエンス　2023年6月8日

2023年6月8日分の特別講義の内容に、コメント（メモ）と、練習問題の解答例を加えたものです。

地図の部分などは、コードが（間違いではないのですが）不適切で、（手元のPCでは実行可能でしたが）Posit Cloud では実行不可能になっていましたから、修正しました。他にも、分布のところで、集計データ（Aggregates）が含まれてしまっていたので、それも、修正しました。修正したところには、修正しました と書いておきましたので、その部分だけ、コピー・ペーストすれば、実行可能だと思います。

火曜日の分は、もう少し、修正するかもしれません。あまり、先先に進まず、丁寧に説明できればと願っています。

1 はじめに

1.1 データサイエンス？

データから情報を得るときには、大体次のような手順をとります。

1. 準備 Setup
2. データを取得 Import data
3. データ構造の確認 View data
4. 必要に応じて整形 Transform data
5. 視覚化 Visualize data
6. データを理解 Understand data
7. レポートなどにまとめる Communicate data

問いをもちデータを取得し、視覚化などを通して、データを理解し、さらに問いを深めるサイクルが、データサイエンスの核だと思います。

R を使った分析の一つの例を、見て行きます。一つ一つのコード（コンピュータ・プログラム）の簡単な説明は、加えますが、あまりそれに捉われず、データサイエンスとは何かを考えながら、雰囲気を味わってください。

1.2 R のパッケージを活用

1.2.1 準備 Setup

世界銀行（World Bank）の、世界開発指標（WDI: World Development Indicators）の一つの、GDP（Gross Domestic Product 国内総生産）のデータから始めます。GDP にも何種類かの尺度がありますが、次のものを見てみます。

• NY.GDP.MKTP.CD: GDP (current US$)

NY.GDP.MKTP.CD は、データコードと言われるもので、世界開発指標（WDI）には、一つづつ決まっています。

World Development Indicators のサイトの下にある、Data Themes（テーマ）からテーマを選択し、下にスクロールすると、Code をみることができます。ちなみに、ここで利用する NY.GDP.MKTP.CD: GDP (current US$) は、テーマの Economy（経済）の、一番上にあります。

経済用語の英語はよく知らないという方は、ブラウザー（Edge, Google Chrome, Safari など）の翻訳機能を使うのも良いでしょう。ただ、そのページの対話型の機能（interactive function）を利用するときは、翻訳機能をOFF にする必要がある場合もありますので、注意してください。

エラーメッセージを調べるときなどに、英語のほうが情報がたくさん得られますから、言語を、英語に変更しておきます。

R には、WDI のデータを取得する R のツール（パッケージ）WDI がありますから、それを使います。また、データを取り扱うための基本的なツール（パッケージ）tidyverse を使いますので、次のコードで、これらを読み込みます。

Sys.setenv(LANG = "en")
library(tidyverse)
library(WDI)

データを保存する場所を作成しておくことをお勧めします。保存しておくときは、このディレクトリを使います。

dir.create("./data")

1.2.2 データ取得 Import data

データを取得します。少し時間がかかります。取得したデータに、df_gdp などと、わかりやすい名前をつけます。df は data frame の略で、R で標準的なデータの形式です。

df_gdp <- WDI(country = "all", 
              indicator = c(gdp = "NY.GDP.MKTP.CD"), 
              extra = TRUE)

このコードで、全ての国の GDP を取得できます。GDP の値は、NY.GDP.MKTP.CD という名前の列にありますが、覚えやすいように、gdp という名前に変更しておきます。extra = TRUE とすることによって、それぞれの国についての情報などが追加されます。

1.2.3 データ構造の確認

最初の数行だけを見るには、head(df_dgp) とします。

head(df_gdp)

1.2.3.1 メモ

次のように、extra = TRUE を省略し、df_gdp に置き換えないで、すぐ中身を見てみると次のようになります。つまり、5列のみです。つまり、これ以外の情報が、extra ということになります。また、置き換えなくても、このように、データを見ることはできますが、これを使うときには、名前をつけておかなければいけません。それが、assignment という <- でします。= でも同じことができますが、どちらを、どちらに置き換えることを明示的にするために、矢印が推奨されています。WDI のより詳しい使い方は、火曜日に説明します。

head(WDI(country = "all", indicator = c(gdp = "NY.GDP.MKTP.CD")))

実は、RMarkdown という文書の中であれば、次のように、head(df_gdp)ではなく、df_gdp だけでも、内容が表示され、かつ、paged という形式になっているので、10行ずつ、100 ページつまり、1000行まで、みることができます。この方が、実際に分析しているときには便利です。ただ、head は、基本ですし、下のようなものにしていると、HTML を使っている間はよいのですが、これを、PDF や、Word に変換すると、それらの形式では、機能しないので、問題が生じることもあります。「他の文書形式にもできるのか」という質問もありました。答えは、「簡単にできます。」ですが、どんなものでも、どんな形式でも出力できるかというのは、不可能です。PDF や、Word にこれらの機能がないからです。「こんなことはできますか」というのは、良い質問ですが、まずは、ここに提示しているものを、少しずつ理解していっていただければと思います。少しずつ説明します。

また、この方法は、便利ですが、これだけ、たくさんコンピュータがいつでも使えるように、覚えているため、RAM (Read Access Memory) をたくさん使ってしまうので、Posit Cloud などでは、メモリーが足りなくて文書が作成できない（Pandoc Error 137） が出る可能性があります。そこで、自分の PC で使うときは、ほとんど、考えずに、使いますが、Posit Cloud のときは、注意することにしています。

Posit Cloud を使うときには、head() を使うことをお勧めします。

df_gdp

データの構造を見るときには、str(df_gdp) もよく使われます。今度は、列が縦に並んで表示されます。

str(df_gdp)

'data.frame':   16758 obs. of  13 variables:
 $ country    : chr  "Afghanistan" "Afghanistan" "Afghanistan" "Afghanistan" ...
 $ iso2c      : chr  "AF" "AF" "AF" "AF" ...
 $ iso3c      : chr  "AFG" "AFG" "AFG" "AFG" ...
 $ year       : int  1963 1962 1961 1960 2003 2002 2001 2000 1995 1994 ...
 $ gdp        : num  7.51e+08 5.47e+08 5.49e+08 5.38e+08 4.54e+09 ...
  ..- attr(*, "label")= chr "GDP (current US$)"
 $ status     : chr  "" "" "" "" ...
 $ lastupdated: chr  "2023-05-10" "2023-05-10" "2023-05-10" "2023-05-10" ...
 $ region     : chr  "South Asia" "South Asia" "South Asia" "South Asia" ...
 $ capital    : chr  "Kabul" "Kabul" "Kabul" "Kabul" ...
 $ longitude  : chr  "69.1761" "69.1761" "69.1761" "69.1761" ...
 $ latitude   : chr  "34.5228" "34.5228" "34.5228" "34.5228" ...
 $ income     : chr  "Low income" "Low income" "Low income" "Low income" ...
 $ lending    : chr  "IDA" "IDA" "IDA" "IDA" ...

1.2.3.2 メモ

tidyverse Native では、str の代わりに、glimpse を使います。少し情報が多いからです。でも、この程度のものなら、ほぼ同じです。ここからわかることは、行（データの数 Number of Observations と言います）が16,758、列（変数の数 Number of Variables と言います）が 13 となります。また、chr とか、int とか dbl （str では、num）とありますが、これは、文字データか、数値データか、数値の中でも、整数値か、実数値かがわかるようになっています。この違いは、とても重要です。

glimpse(df_gdp)

Rows: 16,758
Columns: 13
$ country     <chr> "Afghanistan", "Afghanistan", "Afghanistan", "Afghanistan", "A…
$ iso2c       <chr> "AF", "AF", "AF", "AF", "AF", "AF", "AF", "AF", "AF", "AF", "A…
$ iso3c       <chr> "AFG", "AFG", "AFG", "AFG", "AFG", "AFG", "AFG", "AFG", "AFG",…
$ year        <int> 1963, 1962, 1961, 1960, 2003, 2002, 2001, 2000, 1995, 1994, 19…
$ gdp         <dbl> 751111191, 546666678, 548888896, 537777811, 4539500884, 385423…
$ status      <chr> "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", ""…
$ lastupdated <chr> "2023-05-10", "2023-05-10", "2023-05-10", "2023-05-10", "2023-…
$ region      <chr> "South Asia", "South Asia", "South Asia", "South Asia", "South…
$ capital     <chr> "Kabul", "Kabul", "Kabul", "Kabul", "Kabul", "Kabul", "Kabul",…
$ longitude   <chr> "69.1761", "69.1761", "69.1761", "69.1761", "69.1761", "69.176…
$ latitude    <chr> "34.5228", "34.5228", "34.5228", "34.5228", "34.5228", "34.522…
$ income      <chr> "Low income", "Low income", "Low income", "Low income", "Low i…
$ lending     <chr> "IDA", "IDA", "IDA", "IDA", "IDA", "IDA", "IDA", "IDA", "IDA",…

概要 (summary(df_gdp)) からもある程度わかります。

summary(df_gdp) 

   country             iso2c              iso3c                year     
 Length:16758       Length:16758       Length:16758       Min.   :1960  
 Class :character   Class :character   Class :character   1st Qu.:1975  
 Mode  :character   Mode  :character   Mode  :character   Median :1991  
                                                          Mean   :1991  
                                                          3rd Qu.:2007  
                                                          Max.   :2022  
                                                                        
      gdp               status          lastupdated           region         
 Min.   :8.824e+06   Length:16758       Length:16758       Length:16758      
 1st Qu.:2.442e+09   Class :character   Class :character   Class :character  
 Median :1.784e+10   Mode  :character   Mode  :character   Mode  :character  
 Mean   :1.161e+12                                                           
 3rd Qu.:2.156e+11                                                           
 Max.   :9.653e+13                                                           
 NA's   :3602                                                                
   capital           longitude           latitude            income         
 Length:16758       Length:16758       Length:16758       Length:16758      
 Class :character   Class :character   Class :character   Class :character  
 Mode  :character   Mode  :character   Mode  :character   Mode  :character  
                                                                            
                                                                            
                                                                            
                                                                            
   lending         
 Length:16758      
 Class :character  
 Mode  :character  
                   
                   
                   
                   

1.2.3.3 メモ

年（year）は、1960 から 2022 であることなどがわかりますね。

国のリストをみてみましょう。とても長いリストの中には、地域名も含まれています。

df_gdp %>% distinct(country) %>% pull()

  [1] "Afghanistan"                                         
  [2] "Africa Eastern and Southern"                         
  [3] "Africa Western and Central"                          
  [4] "Albania"                                             
  [5] "Algeria"                                             
  [6] "American Samoa"                                      
  [7] "Andorra"                                             
  [8] "Angola"                                              
  [9] "Antigua and Barbuda"                                 
 [10] "Arab World"                                          
 [11] "Argentina"                                           
 [12] "Armenia"                                             
 [13] "Aruba"                                               
 [14] "Australia"                                           
 [15] "Austria"                                             
 [16] "Azerbaijan"                                          
 [17] "Bahamas, The"                                        
 [18] "Bahrain"                                             
 [19] "Bangladesh"                                          
 [20] "Barbados"                                            
 [21] "Belarus"                                             
 [22] "Belgium"                                             
 [23] "Belize"                                              
 [24] "Benin"                                               
 [25] "Bermuda"                                             
 [26] "Bhutan"                                              
 [27] "Bolivia"                                             
 [28] "Bosnia and Herzegovina"                              
 [29] "Botswana"                                            
 [30] "Brazil"                                              
 [31] "British Virgin Islands"                              
 [32] "Brunei Darussalam"                                   
 [33] "Bulgaria"                                            
 [34] "Burkina Faso"                                        
 [35] "Burundi"                                             
 [36] "Cabo Verde"                                          
 [37] "Cambodia"                                            
 [38] "Cameroon"                                            
 [39] "Canada"                                              
 [40] "Caribbean small states"                              
 [41] "Cayman Islands"                                      
 [42] "Central African Republic"                            
 [43] "Central Europe and the Baltics"                      
 [44] "Chad"                                                
 [45] "Channel Islands"                                     
 [46] "Chile"                                               
 [47] "China"                                               
 [48] "Colombia"                                            
 [49] "Comoros"                                             
 [50] "Congo, Dem. Rep."                                    
 [51] "Congo, Rep."                                         
 [52] "Costa Rica"                                          
 [53] "Cote d'Ivoire"                                       
 [54] "Croatia"                                             
 [55] "Cuba"                                                
 [56] "Curacao"                                             
 [57] "Cyprus"                                              
 [58] "Czechia"                                             
 [59] "Denmark"                                             
 [60] "Djibouti"                                            
 [61] "Dominica"                                            
 [62] "Dominican Republic"                                  
 [63] "Early-demographic dividend"                          
 [64] "East Asia & Pacific"                                 
 [65] "East Asia & Pacific (excluding high income)"         
 [66] "East Asia & Pacific (IDA & IBRD countries)"          
 [67] "Ecuador"                                             
 [68] "Egypt, Arab Rep."                                    
 [69] "El Salvador"                                         
 [70] "Equatorial Guinea"                                   
 [71] "Eritrea"                                             
 [72] "Estonia"                                             
 [73] "Eswatini"                                            
 [74] "Ethiopia"                                            
 [75] "Euro area"                                           
 [76] "Europe & Central Asia"                               
 [77] "Europe & Central Asia (excluding high income)"       
 [78] "Europe & Central Asia (IDA & IBRD countries)"        
 [79] "European Union"                                      
 [80] "Faroe Islands"                                       
 [81] "Fiji"                                                
 [82] "Finland"                                             
 [83] "Fragile and conflict affected situations"            
 [84] "France"                                              
 [85] "French Polynesia"                                    
 [86] "Gabon"                                               
 [87] "Gambia, The"                                         
 [88] "Georgia"                                             
 [89] "Germany"                                             
 [90] "Ghana"                                               
 [91] "Gibraltar"                                           
 [92] "Greece"                                              
 [93] "Greenland"                                           
 [94] "Grenada"                                             
 [95] "Guam"                                                
 [96] "Guatemala"                                           
 [97] "Guinea"                                              
 [98] "Guinea-Bissau"                                       
 [99] "Guyana"                                              
[100] "Haiti"                                               
[101] "Heavily indebted poor countries (HIPC)"              
[102] "High income"                                         
[103] "Honduras"                                            
[104] "Hong Kong SAR, China"                                
[105] "Hungary"                                             
[106] "IBRD only"                                           
[107] "Iceland"                                             
[108] "IDA & IBRD total"                                    
[109] "IDA blend"                                           
[110] "IDA only"                                            
[111] "IDA total"                                           
[112] "India"                                               
[113] "Indonesia"                                           
[114] "Iran, Islamic Rep."                                  
[115] "Iraq"                                                
[116] "Ireland"                                             
[117] "Isle of Man"                                         
[118] "Israel"                                              
[119] "Italy"                                               
[120] "Jamaica"                                             
[121] "Japan"                                               
[122] "Jordan"                                              
[123] "Kazakhstan"                                          
[124] "Kenya"                                               
[125] "Kiribati"                                            
[126] "Korea, Dem. People's Rep."                           
[127] "Korea, Rep."                                         
[128] "Kosovo"                                              
[129] "Kuwait"                                              
[130] "Kyrgyz Republic"                                     
[131] "Lao PDR"                                             
[132] "Late-demographic dividend"                           
[133] "Latin America & Caribbean"                           
[134] "Latin America & Caribbean (excluding high income)"   
[135] "Latin America & the Caribbean (IDA & IBRD countries)"
[136] "Latvia"                                              
[137] "Least developed countries: UN classification"        
[138] "Lebanon"                                             
[139] "Lesotho"                                             
[140] "Liberia"                                             
[141] "Libya"                                               
[142] "Liechtenstein"                                       
[143] "Lithuania"                                           
[144] "Low & middle income"                                 
[145] "Low income"                                          
[146] "Lower middle income"                                 
[147] "Luxembourg"                                          
[148] "Macao SAR, China"                                    
[149] "Madagascar"                                          
[150] "Malawi"                                              
[151] "Malaysia"                                            
[152] "Maldives"                                            
[153] "Mali"                                                
[154] "Malta"                                               
[155] "Marshall Islands"                                    
[156] "Mauritania"                                          
[157] "Mauritius"                                           
[158] "Mexico"                                              
[159] "Micronesia, Fed. Sts."                               
[160] "Middle East & North Africa"                          
[161] "Middle East & North Africa (excluding high income)"  
[162] "Middle East & North Africa (IDA & IBRD countries)"   
[163] "Middle income"                                       
[164] "Moldova"                                             
[165] "Monaco"                                              
[166] "Mongolia"                                            
[167] "Montenegro"                                          
[168] "Morocco"                                             
[169] "Mozambique"                                          
[170] "Myanmar"                                             
[171] "Namibia"                                             
[172] "Nauru"                                               
[173] "Nepal"                                               
[174] "Netherlands"                                         
[175] "New Caledonia"                                       
[176] "New Zealand"                                         
[177] "Nicaragua"                                           
[178] "Niger"                                               
[179] "Nigeria"                                             
[180] "North America"                                       
[181] "North Macedonia"                                     
[182] "Northern Mariana Islands"                            
[183] "Norway"                                              
[184] "Not classified"                                      
[185] "OECD members"                                        
[186] "Oman"                                                
[187] "Other small states"                                  
[188] "Pacific island small states"                         
[189] "Pakistan"                                            
[190] "Palau"                                               
[191] "Panama"                                              
[192] "Papua New Guinea"                                    
[193] "Paraguay"                                            
[194] "Peru"                                                
[195] "Philippines"                                         
[196] "Poland"                                              
[197] "Portugal"                                            
[198] "Post-demographic dividend"                           
[199] "Pre-demographic dividend"                            
[200] "Puerto Rico"                                         
[201] "Qatar"                                               
[202] "Romania"                                             
[203] "Russian Federation"                                  
[204] "Rwanda"                                              
[205] "Samoa"                                               
[206] "San Marino"                                          
[207] "Sao Tome and Principe"                               
[208] "Saudi Arabia"                                        
[209] "Senegal"                                             
[210] "Serbia"                                              
[211] "Seychelles"                                          
[212] "Sierra Leone"                                        
[213] "Singapore"                                           
[214] "Sint Maarten (Dutch part)"                           
[215] "Slovak Republic"                                     
[216] "Slovenia"                                            
[217] "Small states"                                        
[218] "Solomon Islands"                                     
[219] "Somalia"                                             
[220] "South Africa"                                        
[221] "South Asia"                                          
[222] "South Asia (IDA & IBRD)"                             
[223] "South Sudan"                                         
[224] "Spain"                                               
[225] "Sri Lanka"                                           
[226] "St. Kitts and Nevis"                                 
[227] "St. Lucia"                                           
[228] "St. Martin (French part)"                            
[229] "St. Vincent and the Grenadines"                      
[230] "Sub-Saharan Africa"                                  
[231] "Sub-Saharan Africa (excluding high income)"          
[232] "Sub-Saharan Africa (IDA & IBRD countries)"           
[233] "Sudan"                                               
[234] "Suriname"                                            
[235] "Sweden"                                              
[236] "Switzerland"                                         
[237] "Syrian Arab Republic"                                
[238] "Tajikistan"                                          
[239] "Tanzania"                                            
[240] "Thailand"                                            
[241] "Timor-Leste"                                         
[242] "Togo"                                                
[243] "Tonga"                                               
[244] "Trinidad and Tobago"                                 
[245] "Tunisia"                                             
[246] "Turkiye"                                             
[247] "Turkmenistan"                                        
[248] "Turks and Caicos Islands"                            
[249] "Tuvalu"                                              
[250] "Uganda"                                              
[251] "Ukraine"                                             
[252] "United Arab Emirates"                                
[253] "United Kingdom"                                      
[254] "United States"                                       
[255] "Upper middle income"                                 
[256] "Uruguay"                                             
[257] "Uzbekistan"                                          
[258] "Vanuatu"                                             
[259] "Venezuela, RB"                                       
[260] "Vietnam"                                             
[261] "Virgin Islands (U.S.)"                               
[262] "West Bank and Gaza"                                  
[263] "World"                                               
[264] "Yemen, Rep."                                         
[265] "Zambia"                                              
[266] "Zimbabwe"                                            

今回は下のように、%>%（パイプと呼びます） で繋げてコードを書きました。

df_gdp %>% distinct(country) %>% pull()

最初は、データ、その中の、異なる国を選択して、書き出してくださいというものです。

これは、

pull(distinct(df_gdp, country))

と同じです。どんどん、かっこの中に入れ子になって複雑になるので、一つ一つのステップを、順に書いたものが、最初のものになります。

df_gdp %>% head()
df_gdp %>% str()

なども可能です。かっこの中に最初に入るものが直前のものという規則になっており、ここでは、データになっています。df_gdp %>% head(10) とすると、上から6行ではなく、10行表示します。

1.2.4 必要に応じて整形 Transform data

変数が多いので、日本の部分だけ filter を使って選択します。country が Japan と一致する場合のみを選択するときは、== を使います。数値ではないので、引用符をつけます。半角を使ってください。

df_gdp %>% filter(country == "Japan")

df_gdp %>% filter(country == "Japan") %>% head(2)

２行目の、gdp の、4.940878e+12 は、Scientific notation と言われるもので、 \[4.940878 \times 10^{12} = 4,940,887,800,000\] を意味します。e+3 は千（thousand）、e+6 は百万（million）、e+9 は、10億（billion）、e+12 は、兆（trillion）ですから、日本の、2021 年の GDP は、約5兆ドルとなります。

1.2.4.1 メモ

head(2) は、上から２行という意味です。tidyverse では、slice(1:2) などで、より複雑な部分を取り出せるようにもなっています。

1.2.5 視覚化 data visualization

1.2.5.1 Fig 1. 日本のGDP の経年変化を折線グラフ（line graph）

df_gdp %>% filter(country == "Japan") %>%
  ggplot(aes(x = year, y = gdp)) + geom_line()

df_gdp %>% filter(country == "Japan") %>%
  ggplot(aes(x = year, y = gdp)) + geom_line()

日本を選択したときに、それに名前をつけておいて、それを使うこともできますが、名前がどんどん増えるので、それに続けて、コードを書いていく方法をとっています。

ggplot(aes(x = year, y = gdp)) + geom_line()

の部分が、グラフを描く部分で、「x 軸を、year、y 軸を、gdp として、それを、折線グラフで描いてください」というコードです。

Warning: [38;5;238mRemoved 1 row containing missing values

と表示されています。値がない年があることを言っています。2022年のデータがないことがわかっていますから、最初から削除しておくことも可能です。

1.2.5.2 メモ

以下のように、途中に、drop_na(gdp) と入れれば、Warning は表示されません。

df_gdp %>% filter(country == "Japan") %>% drop_na(gdp) %>%
  ggplot(aes(x = year, y = gdp)) + geom_line()

1991年以降を見てみたいときは次のようにします。

df_gdp %>% filter(country == "Japan", year > 1990) %>% 
  drop_na(gdp) %>%
  ggplot(aes(x = year, y = gdp)) + geom_line()

1.2.5.3 練習 1-Fig.1

1. 1995年ごろまでは増加しているが、そのあとは、増加減少、さまざま。いくつかのピークの年は、df_gdp %>% filter(country == "Japan") の下の Next を押して、見ていくと、確認できます。
2. 最後は、コロナの影響かな。

1.2.5.4 練習 2

• India に変更

df_gdp %>% filter(country == "India") %>%
  ggplot(aes(x = year, y = gdp)) + geom_line()

• World に変更

df_gdp %>% filter(country == "World") %>%
  ggplot(aes(x = year, y = gdp)) + geom_line()

1.2.5.5 メモ

どんなことがわかりますか。いろいろな国について、調べたら、さまざまなことがわかりますね。キリがないかもしれません。このように、一つのデータでも、学ぶことは山ほどあります。そして、考えることも。

1.2.6 データの理解 Understand data

視覚化によって見えてくることがいくつもありますね。どんなことがわかりますか。気づいたこと（observation）をあげてみましょう。

コードを描くことではなく、この部分が、データサイエンスの核の部分です。気づいたことを列挙してみましょう。

1.2.7 さまざまな視覚化

1.2.7.1 Fig 2. 各年ごとのデータの数

summary(df_gdp) で、データ自体は、1960年から2022年までのようですが、日本も、2022年のデータはありませんでしたから、年によって、どの程度データがあるか、調べてみます。

df_gdp %>% drop_na(gdp) %>% ggplot(aes(x = year)) + geom_bar()

df_gdp %>% drop_na(gdp) %>% ggplot(aes(x = year)) + geom_bar()

バー・グラフを使いますが、gdp の値が、欠損値（NA: not available）のデータを削除してから、グラフを描きます。

1.2.7.2 メモ

表で数を出してみることも可能です。

df_gdp %>% drop_na(gdp) %>% group_by(year) %>% summarize(n = n())

1.2.7.3 練習 1-Fig.2

1. 2000年ぐらいまでは、データがない国もそれなりにある。

2. 2019年ぐらいから後も、データがない国がいくつかある。

3. 2022年は、この、GDP のデータは一つもないようである。（WDI で統一したフォーマットになっていることが影響していると思います。）

1.2.7.4 2021年のGDPの降順での表示（１）

最新の2021年のデータはすべてあるわけではなさそうですが、gdp の値が大きい順に並べてみましょう。

df_gdp %>% filter(year == 2021) %>% drop_na(gdp) %>% arrange(desc(gdp))

1.2.7.5 2021年のGDPの降順での表示（２）

最初に、World と表示され、グループや、カテゴリーのデータもあるようですから、それを、まず、削除することが必要です。region の列を見ると、World などは、Aggregates となっているので、そのようなものを削除すればよさそうです。数値の大きい順に並べたいので、desc 降順（descending order）にします。

df_gdp %>% filter(year == 2021, region != "Aggregates") %>% 
  drop_na(gdp) %>% arrange(desc(gdp))

これは、グラフではありませんが、これも一つの視覚化とも考えられないことはありません。

上位７カ国は、United States, China, Japan, Germany, India, United Kingdom, France であることがわかりました。8番目は、Italy でここまでが、GDP が 2兆ドルを越している国となります。

1.2.7.6 Fig 3. 2021年時のGDP上位7カ国のGDP経年変化

df_gdp %>% filter(iso2c %in% c("US", "CN", "JP", "DE", "IN", "GB", "FR")) %>%
  ggplot(aes(x = year, y = gdp, col = iso2c)) + geom_line()

df_gdp %>% filter(iso2c %in% c("US", "CN", "JP", "DE", "IN", "GB", "FR")) %>%
  ggplot(aes(x = year, y = gdp, col = iso2c)) + geom_line()

ここでは、最初に、filter を使って、7カ国のデータを選択しています。 そのときには、%in% として、国名を、combine するといういみで、c() とひとまとめにします。数字ではなく、文字なので、引用符で囲んでいます。この場合は、single quote でも構いませんが、半角を使ってください。

このグラフからは、どのようなことがわかりますか。気づいたことを書いてみましょう。

もう少し、このようなグラフをみてみたいというような、メモも大切です。

1.2.7.7 メモ

2021年のデータがない国は何なのか確認したいですよね。そのような国について、調べることも、たいせつだと思います。手間がかかることは確かですが。これらの国の、GDP を調べてみるのも良いかもしれません。それぞれに、理由があるように見えます。

幸福な家族はどれも似通っているが、不幸な家族は不幸のあり方がそれぞれ異なっている。(トルストイ著「アンナ・カレーニナ」より)。All happy families are alike; each unhappy family is unhappy in its own way. は、アンナ・カレーニナ原則（Anna Karenina principle）とも言われ、いろいろな分野で重視されています。わたしがたいせつにしている言葉でもあります。

df_gdp %>% filter(year == 2021, region != "Aggregates") %>% 
  filter(is.na(gdp)) %>% distinct(country) %>% pull()

 [1] "British Virgin Islands"    "Channel Islands"          
 [3] "Cuba"                      "Eritrea"                  
 [5] "Gibraltar"                 "Greenland"                
 [7] "Isle of Man"               "Korea, Dem. People's Rep."
 [9] "Kuwait"                    "Liechtenstein"            
[11] "Northern Mariana Islands"  "San Marino"               
[13] "Sint Maarten (Dutch part)" "South Sudan"              
[15] "St. Martin (French part)"  "Syrian Arab Republic"     
[17] "Turkmenistan"              "Venezuela, RB"            
[19] "Virgin Islands (U.S.)"     "Yemen, Rep."              

1.2.7.8 練習 1-Fig.3

1. 2010年ごろに、中国のGDP が日本の GDP を超え、それ以降、差が大きくなっている。

2. 中国の、GDP が アメリカの GDP を越す年も、それほど遠くないように見える。そのときには、中国の人は豊かにもなるのだろうか。

3. アメリカと中国の、GDP が多いので、それを省いて、グラフを書いてみたい。

1.2.7.9 練習 3

df_gdp %>% filter(iso2c %in% c("JP", "DE", "IN", "GB", "FR")) %>%
  ggplot(aes(x = year, y = gdp, col = iso2c)) + geom_line()

• 期間を制限してみる。

df_gdp %>% filter(iso2c %in% c("JP", "DE", "IN", "GB", "FR"), year > 1990) %>%
  ggplot(aes(x = year, y = gdp, col = iso2c)) + geom_line()

• BRICS の国々はどうだろうか。

df_gdp %>% filter(iso2c %in% c("BR", "RU", "IN", "CN", "ZA")) %>%
  ggplot(aes(x = year, y = gdp, col = iso2c)) + geom_line()

• 中国は他と桁が違うので、中国以外を見る

df_gdp %>% filter(iso2c %in% c("BR", "RU", "IN", "ZA")) %>%
  ggplot(aes(x = year, y = gdp, col = iso2c)) + geom_line()

1.2.7.10 メモ

これらからも、わかることはたくさんありますね。さらに、考えたいことも、たくさん出てくると思います。みなさんは、どのようなことを考えますか。

1.2.7.11 Fig 4. 世界のGDP における割合（１）

df_gdp %>% 
  filter(region != "Aggregates") %>% drop_na(gdp) %>% 
  group_by(year) %>% mutate(gdp_ratio = gdp/sum(gdp)) %>% ungroup() %>%
  filter(iso2c %in% c("US", "CN", "JP", "DE", "IN", "GB", "FR"))  %>%
  ggplot(aes(x = year, y = gdp_ratio, fill = iso2c)) + geom_area() +
  geom_line(col = "black", position = "stack", linewidth = 0.3) + 
  scale_y_continuous(labels = scales::percent_format(accuracy = 1))

まず、下の部分が新しいですが、ここでは、年毎にグループにして、その上で、新しい dgp_ratio という名前の列を追加し、その gdp の値を、gdp 合計で割っています。すなわち、世界の、GDP における割合が計算されています。

  group_by(year) %>% mutate(gdp_ratio = gdp/sum(gdp)) %>% ungroup() %>%

下の部分では、geom_area を使って、fill=iso2c により、iso2c ごとに、違う色を塗って、position = “stack” により、積み上げ型の、グラフを描き、境目がわかりやすいように、0.3 の太さの黒の線を描いてください。また、y 軸は、小数点以下を省いたパーセント表示に変えてください。というコードです。

  ggplot(aes(x = year, y = gdp_ratio, fill = iso2c)) + geom_area() +
  geom_line(col = "black", position = "stack", linewidth = 0.3) + 
  scale_y_continuous(labels = scales::percent_format(accuracy = 1))

1.2.7.12 メモ

ドイツがちょっと変なので、データを調べてみました。GDP の値が1969年以前はありませんね。

df_gdp %>% filter(iso2c == "DE", year %in% 1960:1970) 

Germany のデータは、1969年まで無いようですね。

1.2.7.13 Fig 4. 世界のGDP における割合（２）

これは、上から、iso2c の アルファベットの順番になっていますが、積み上げの順序を変更することもできます。

df_gdp %>% 
  filter(region != "Aggregates") %>% drop_na(gdp) %>% 
  group_by(year) %>% mutate(gdp_ratio = gdp/sum(gdp)) %>% ungroup() %>%
  filter(iso2c %in% c("US", "CN", "JP", "DE", "IN", "GB", "FR"))  %>%
  mutate(iso2co = factor(iso2c, levels = c("IN", "CN", "FR", "GB", "DE", "JP", "US"))) %>%
  ggplot(aes(x = year, y = gdp_ratio, fill = iso2co)) + geom_area() +
  geom_line(col = "black", position = "stack", linewidth = 0.3) + 
  scale_y_continuous(labels = scales::percent_format(accuracy = 1))

これらは、世界全体の GPT における割合です。

どのようなことがわかりますか。

主要国で、60%〜70% を占めていることがわかります。それぞれの国や、幾つかの国の影響力も、ある程度みることができるように見えます。

気づいたこと、疑問に思ったことなどを、書き出してみてください。

1.2.7.14 練習 1-Fig.4,5

1. ドイツの部分が少し変。データがないようだ。

2. 80年代、90年代は、日本も大きな割合を占めている。

3. 近年、中国の割合が増えて、相対的に、他の国の割合が低下している。

4. GDP 大国で占める割合が大きい。

1.2.7.15 練習 3-4,5

BRICS ２カ国、CN, IN を省いてみる。

df_gdp %>% 
  filter(region != "Aggregates") %>% drop_na(gdp) %>% 
  group_by(year) %>% mutate(gdp_ratio = gdp/sum(gdp)) %>% ungroup() %>%
  filter(iso2c %in% c("US", "JP", "DE", "GB", "FR"))  %>%
  mutate(iso2co = factor(iso2c, levels = c("IN", "CN", "FR", "GB", "DE", "JP", "US"))) %>%
  ggplot(aes(x = year, y = gdp_ratio, fill = iso2co)) + geom_area() +
  geom_line(col = "black", position = "stack", linewidth = 0.3) + 
  scale_y_continuous(labels = scales::percent_format(accuracy = 1))

• BRICS ではどうだろうか。

df_gdp %>% 
  filter(region != "Aggregates") %>% drop_na(gdp) %>% 
  group_by(year) %>% mutate(gdp_ratio = gdp/sum(gdp)) %>% ungroup() %>%
  filter(iso2c %in% c("CN", "IN", "RU", "BR", "ZA"))  %>%
  mutate(iso2co = factor(iso2c, levels = c("ZA", "BR", "RU", "IN", "CN"))) %>%
  ggplot(aes(x = year, y = gdp_ratio, fill = iso2co)) + geom_area() +
  geom_line(col = "black", position = "stack", linewidth = 0.3) + 
  scale_y_continuous(labels = scales::percent_format(accuracy = 1))

• 中国は割合が大きいので省いてみる。

df_gdp %>% 
  filter(region != "Aggregates") %>% drop_na(gdp) %>% 
  group_by(year) %>% mutate(gdp_ratio = gdp/sum(gdp)) %>% ungroup() %>%
  filter(iso2c %in% c("IN", "RU", "BR", "ZA"))  %>%
  mutate(iso2co = factor(iso2c, levels = c("ZA", "BR", "RU", "IN", "CN"))) %>%
  ggplot(aes(x = year, y = gdp_ratio, fill = iso2co)) + geom_area() +
  geom_line(col = "black", position = "stack", linewidth = 0.3) + 
  scale_y_continuous(labels = scales::percent_format(accuracy = 1))

GDP が大きな国と、小さな国があるのはわかりますが、それは、どのように分布しているのでしょうか。

ヒストグラムで見てみましょう。ヒストグラムについては、Posit Primers のこちらのビデオがお勧めです。

1.2.7.16 Fig 5. 2021年の世界の国のGDPの分布（１）

修正してあります。

df_gdp %>% drop_na(gdp) %>% 
  filter(year == 2021) %>% filter(region  != "Aggregates") %>%
  ggplot(aes(gdp)) + geom_histogram()

小さいところに集中していることがわかりますが、scale_x_log10() を加え、対数軸をとってみます。

\(log10(1000) = 3\), \(log10(1000000) = 6\), \(log10(1000000000) = 9\) などになります。

1.2.7.17 Fig 6. 2021年の世界の国のGDPの分布（２）

修正してあります。

df_gdp %>% drop_na(gdp) %>% 
  filter(year == 2021) %>% filter(region  != "Aggregates") %>%
  ggplot(aes(gdp)) + geom_histogram() + scale_x_log10()

幅を変更したり、分ける個数を変更するには binwidth = 0.5 や、bins = 20 を、geom_histogram() のかっこの中に入れます。

1.2.7.18 練習 1-Fig.6

• GDP が小さいところに集中している。

• Log10 スケールを使うと、みやすくなる。

• ここでは、地域なども含めていたので、上では、修正してあります。

• 1兆ドルを超える国は、非常に少ないことがわかります。

1.2.7.19 練習 6

df_gdp %>% drop_na(gdp) %>% 
  filter(year == 2021) %>% filter(region  != "Aggregates") %>%
  ggplot(aes(gdp)) + geom_histogram(bins = 12) + scale_x_log10()

1.2.7.20 Fig 7. 2021年の世界の国のGDPの分布（３）

また、密度曲線に変えるには、geom_density を使います。

修正してあります。

df_gdp %>% drop_na(gdp) %>% 
  filter(year == 2021) %>% filter(region  != "Aggregates") %>%
  ggplot(aes(gdp)) + geom_density() + scale_x_log10()

1.2.7.21 Fig 8. 2021年の世界の国のGDPの分布（４）

これは、2021年のデータですが、density の変化を見てみます。alpha の値は透明度です。

df_gdp %>% drop_na(gdp)  %>% filter(region  != "Aggregates") %>%
  filter(year %in% c(1961, 1971, 1981, 1991, 2001, 2011, 2021)) %>%
  ggplot(aes(gdp, fill = factor(year))) + geom_density(alpha = 0.4) + scale_x_log10()

1.2.7.22 Fig 9. 2021年の世界の国のGDPの分布（５）

少しみにくいので、分けてみます。

df_gdp %>% drop_na(gdp)  %>% filter(region  != "Aggregates") %>%
  filter(year %in% c(1971, 1981, 1991, 2001, 2011, 2021)) %>%
  ggplot(aes(gdp, fill = factor(year))) + 
  geom_density() + scale_x_log10() + facet_wrap(~year)

• もう少し、年の数を減らしてみる。

df_gdp %>% drop_na(gdp)  %>% filter(region  != "Aggregates") %>%
  filter(year %in% c(1961, 1991, 2021)) %>%
  ggplot(aes(gdp, fill = factor(year))) + geom_density(alpha = 0.4) + scale_x_log10()

これから、見えてくることもありますね。

1.2.7.23 Fig 10. 地域ごとの GDP の分布

いくつかのグループごとに分布をみてみることも可能です。それには、Boxplot が有効です。

Boxplot については、Posit Primers のビデオがお勧めです。

df_gdp %>% drop_na(gdp) %>% filter(region != "Aggregates") %>%
  drop_na(region) %>% filter(year %in% c(2021)) %>%
  ggplot(aes(gdp, region, fill = region)) + 
  geom_boxplot() + scale_x_log10() + labs(y = "") + 
  theme(legend.position = "none")

1.2.7.24 メモ

経年変化も見てみると、見やすいかどうかは別ですが。

df_gdp %>% drop_na(gdp) %>% filter(region != "Aggregates") %>%
  drop_na(region) %>% filter(year %in% c(1961, 1991, 2021)) %>%
  ggplot(aes(region, gdp, fill = factor(year))) + 
  geom_boxplot() + scale_y_log10() + labs(x = "") +
  scale_x_discrete(labels = function(x) stringr::str_wrap(x, width = 10))

1.2.7.25 Fig 11. 収入の多寡による分類ごとの GDP 分布

df_gdp %>% drop_na(gdp) %>% filter(region != "Aggregates") %>%
  drop_na(income) %>% filter(year %in% c(2021)) %>%
  mutate(level = factor(income, c("High income", "Upper middle income", "Lower middle income", "Low income"))) %>%
  ggplot(aes(gdp, level, fill = income)) + 
  geom_boxplot() + scale_x_log10() + labs(y = "") + 
  theme(legend.position = "none")

これからも、いろいろなことがわかりますね。

1.2.7.26 世界地図の準備

地図で、国の income level をみてみましょう。

修正してあります。

library(maps)
gdp_short <- df_gdp %>% filter(year == 2021, region != "Aggregates") %>%
  select(iso2c, gdp, income)
map_world <- map_data('world')
map_gdp <- map_world %>% 
  mutate(iso2c = iso.alpha(region, n=2)) %>% 
  left_join(gdp_short, by = "iso2c") 
head(map_gdp)

1.2.7.27 Fig 12. Income Level による色分け地図

修正してあります。

map_gdp %>% mutate(income_level = factor(income, levels = c("High income", "Upper middle income", "Lower middle income", "Low income", "Not classified", NA))) %>%
  ggplot() +
  geom_map(aes(long, lat, map_id = region, fill = income_level), map = map_world, col = "black", size = 0.1) 

Warning: Ignoring unknown aesthetics: x and y

1.2.7.28 Fig 13. GDP による色分け地図

修正してあります。

map_gdp %>% mutate(income_level = factor(income, levels = c("High income", "Upper middle income", "Lower middle income", "Low income", "Not classified", NA))) %>%
  ggplot() +
  geom_map(aes(x=long, y=lat, map_id = region, fill = gdp), map = map_world, col = "black", size = 0.1) 

Warning: Ignoring unknown aesthetics: x and y

1.2.7.29 練習 7

1980年に変更してみましょう。

library(maps)
gdp_short <- df_gdp %>% filter(year == 1980, region != "Aggregates") %>%
  select(iso2c, gdp, income)
map_world <- map_data('world')
map_gdp <- map_world %>% 
  mutate(iso2c = iso.alpha(region, n=2)) %>% 
  left_join(gdp_short, by = "iso2c") 
head(map_gdp)

1.2.7.30 Fig 12. Income Level による色分け地図 - 1980

変化はありますか。無いようですね。

map_gdp %>% mutate(income_level = factor(income, levels = c("High income", "Upper middle income", "Lower middle income", "Low income", "Not classified", NA))) %>%
  ggplot() +
  geom_map(aes(long, lat, map_id = region, fill = income_level), map = map_world, col = "black", size = 0.1) 

Warning: Ignoring unknown aesthetics: x and y

1.2.7.31 Fig 13. GDP による色分け地図 - 1980

こちらは、変化があります。スケールも変わっています。

map_gdp %>% mutate(income_level = factor(income, levels = c("High income", "Upper middle income", "Lower middle income", "Low income", "Not classified", NA))) %>%
  ggplot() +
  geom_map(aes(x=long, y=lat, map_id = region, fill = gdp), map = map_world, col = "black", size = 0.1) 

Warning: Ignoring unknown aesthetics: x and y

df_gdp %>% filter(country == "China") %>% select(country, year, gdp, income) %>% arrange(year)

1.2.7.32 メモ

地図は、すこし、難しいですが、通常のグラフとは違う情報も得られます。最近は、さまざまな地図が使えるようになっており、例えば、日本の行政区域の名称に対応させると、県別や、市町村別などの地図も、使うことが可能です。

1.3 練習

1. それぞれのグラフから、わかったこと、問いなどを列挙してみましょう。
2. Fig 1 の　Japan の部分を他の国や、グループ（World など）に変えてみてください。何がわかりますか。
3. Fig 3 の iso2c で選択する、国を変更してください。何がわかりますか。
4. Fig 4 または Fig 5 の iso2c の部分を他の国に変更してください。何がわかりますか。
5. Fig 5 または Fig 6 の、区間の幅や、数を 変更してみてください。何がわかりますか。
6. Fig 7, Fig 8, Fig 9 の年を変更してみてください。何がわかりますか。
7. Fig 12, Fig 13 の年を変更してみてください。何がわかりますか。

1.4 まとめ

今回は、経済指標である、GDP を使いました。データサイエンスについて少しずつ、学んでいきます。

コードの説明は、簡単にしかしていませんから、理解するのは難しいと思いますが、いくつかのことは、ご理解いただけると思います。

• それほど、長くはない、コードで、データを見ていく。R は対話型（interactive）のプログラミング言語と言われています。

• コードに続けて、結果が表示されるので、コードと出力の対応が見やすい。また、コメントや説明も併記することができる。これは、RMarkdown という形式の中で、コードを書いていることによるものです。RMarkdown は、再現性（reproducibility）と、プログラム・コードの内容をコンピュータにわかるようにでなく、人間にもわかるように記述する（Literate Programming）を実現しています。

• 視覚化（Visualization）によって、わかることが色々とある。また、視覚化の方法もたくさんあり、いろいろな見方をすることで、データについての理解が深まっていく。

• 視覚化を通して、データを理解すること、問いを持ち、他の視覚化などを用いて、さらに、理解を深めることがたいせつ。

• 理解したことを元にして、さらに、そのデータ、または、他のデータを使って、新たな発見をしていく。

統計的な指標も用いますが、それらによって、新しい知識を生み出すとも表現しますが、そのような営み全体が、データサイエンスの核をなす部分だと思います。